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Алгоритм сжатия информации 
с использованием скалярного 
критерия распознавания образов 


В данной работе построено изоморфное отображение множества образов на множество вещественных 
чисел из интервала [0,1], которое позволяет связать классификацию образов с поведением скаляр- 
ного критерия в пространстве ошибок. Задавая определенные интервалы для значений скалярного 
критерия, можем группировать образы, распознавать, сравнивать и анализировать их. В работе построен 
алгоритм сжатия информации с использованием скалярного критерия. 


Постановка проблемы 


Предложенный в статье алгоритм сжатия информации основан на использовании 
скалярного критерия для распознавания образов нейронной сетью. На вход нейронной 
сети подается двоичный АЗСП код информации и рассчитывается скалярный критерий 
для его распознавания. Так для кодирования сообщения «Алгоритм сжатия!» в АЗСП 
коде необходимо 128 битов, а скалярный критерий, являясь действительным числом 
двойной точности требует 64 бита. То есть получаем сжатие информации в 2 раза. Но 
для этого необходимо построить многослойную нейронную сеть с 128 нейронами на 
входе и 128 выходными нейронами, которая является классификатором двоичной 
информации на входе. То есть имеем задачу классификации. 

Для задачи классификации М классов, в которой объединение М классов формирует 
все пространство входных образов, для представления всех возможных результатов 
классификации требуется М выходов [1]. Каким должно быть оптимальное решающее 
правило, применяемое для классификации М выходов сети после обучения мно- 
гослойного персептрона? В общем случае решающее правило должно основываться на 


знании вектор-функции [1] Е: х—>уеА". Обычно в качестве вектор-функции берется 
непрерывная функция, минимизирующая функционал эмпирического риска [1]: 


вм Ро 
25 Л? 


где 4 оля желаемый выход для прототипа х г 


|| — Евклидова норма вектора; № — общее 


число примеров, представленных сети для обучения. Построить функционал и опти- 
мальное решающее правило. В статье построен функционал, равный скалярному 
произведению векторов ошибок при распознавании нейронной сетью образов и 
соответствующих им эталонов, который является вектор-функцией. 
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Цель статьи 


Построение функционала и решающего правила (скалярного критерия для 
распознавания образов) для решения задачи сжатия информации. Функционал равен 
скалярному произведению векторов ошибок при распознавании нейронной сетью 
образов и соответствующих им эталонов. Впервые построено решающее правило 
для классификации образов в виде утверждения: каждому образу, распознаваемому 
многослойным персептроном в многофакторном пространстве ошибок будет соответ- 
ствовать свое значение со5(4) и образ ближе к эталону, чем больше со5(4). 


[@ [@ 


где Е — вектор ошибок в пространстве ошибок, полученный при распознавании ней- 
ронной сетью входного образа, Х — вектор ошибок, полученный при распознавании 
нейронной сетью эталона. Что позволяет связать классификацию распознаваемых образов 
с поведением со5(4) в многофакторном пространстве ошибок. 


Формулировка скалярного критерия близости образов 
в пространстве ошибок 


Переход из пространства параметров в пространство ошибок. Для распоз- 
навания трудноразличимых образов построим функционал 
Е = Е хх +Езхх2+Е4ххз, (1) 


Е› — среднеквадратическая ошибка в пространстве параметров образа, полученная 


1 
при обучении сети; > = о. оч, где и — реальное выходное состояние 


нейрона / выходного слоя М нейронной сети при подаче на ее входы р-го образа; 4, 
— идеальное (желаемое) выходное состояние этого нейрона. 

Ез — линейная ошибка сети, полученная как сумма модулей параметрического 
отклонения образа от эталона; 


1 
3 2 ур Ур СУ» 


М№ ы Е ы а 
где у — реальное выходное состояние неирона / выходного слоя М неироннои 
сети при подаче на ее входы р-го образа; 4», — идеальное (желаемое) выходное 
состояние этого нейрона. 

Е4 — максимальная ошибка параметрического отклонения образа от эталона. 


1 М 
Ед=— У шах ая. 


2 ур 7,Р 


> 
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где У), . — реальное выходное состояние нейрона / выходного слоя М нейронной 


сети при подаче на ее входы р-го образа; 4, — идеальное (желаемое) выходное 
состояние этого нейрона. 

хь, х», хз - коэффициенты функционала, полученные при обучении сети. х/ — 
среднеквадратическая ошибка, полученная при обучении сети, при заданном эта- 
лоне на входе сети; х› — линейная ошибка сети, полученная как сумма модулей па- 
раметрического отклонения образа от эталона, при заданном эталоне на входе сети; 
хз — максимальная ошибка параметрического отклонения образа от эталона, при 
заданном эталоне на входе сети. 

Для каждого из распознаваемых образов получим свое значение функционала, 
соответствующее этому образу при обучении сети. Если даже для двух различных 
образов величины ЁЕ>, Ез, Ел совпадут, значения функционала для этих образов будут 
различны. Если в качестве образов использовать волны, то первый член функцио- 
нала отвечает за отклонение частоты образа от эталонной, второй член отвечает за 
отклонение по амплитуде волны образа от эталонной, третий член анализирует 
пиковые всплески сигнала. Функционал имеет нижнюю границу при А = 0. 

Для образов волновой природы функционал позволяет выделить вредные гар- 
моники, подавить шумы и выделить полезный сигнал. 

В соответствии с введенным функционалом (1), минимизируемой целевой 
функцией ошибки НС является величина: 


М 2 
Еи)= ор | (2) 


(№) 


где у; › — реальное выходное состояние нейрона / выходного слоя М нейронной сети 


при подаче на ее входы р-го образа; 4, — идеальное (желаемое) выходное состояние 
этого нейрона. 

Суммирование ведется по всем нейронам выходного слоя и по всем обрабаты- 
ваемым сетью образам. Минимизация ведется методом градиентного спуска [1]. 

При распознавании образа нейронной сетью вычисляем функционал, испо- 
льзуя весовые коэффициенты, полученные при обучении сети. 

Введем взвешенную норму в сепарабельном трехмерном пространстве 
ошибок распознавания образов (3). 


1% |= (СХ ЭТ (СХ), () 


где С — матрица взвешенной нормы. 
Функционал А, полученный при обучении сети, равен скалярному произведе- 
нию векторов ошибок (Е2,ЕЗ,Е4) и (х1, х2, х3). 


Е=(Е,Х)=соз( д) * 


Е|^|х|. 4 
Из определения нормы имеем: 


[ЕЕ (СЕ)" (СЕ), 


ЕТ (сх. 
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Найдем косинус угла между векторами ошибок: 


и (Е.Х 
АНТ о 
Аналогично находим косинусы для всех эталонных образов Рь, Е....., Е» ‚ где 


п — число образов, предъявленных сети при обучении, и сравниваем с со5(4), полученным 
при распознавании нейронной сетью входного образа. Тот функционал РА, для которого 
с05(4) наиболее близок к единице, определяет соответствующий входному образу эталон- 
ный образ. Взвешенный критерий близости образов в пространстве ошибок (5) получен 
по аналогии с теоремой равновесия в задачах линейного программирования, которая 
утверждает, что скалярное произведение вектора решения прямой задачи на вектор 
решения обратной задачи равно нулю. То есть (Е, Х) = 0, где Е - вектор ошибок в 
пространстве ошибок, полученный при распознавании нейронной сетью входного 
образа, а Х -— вектор ошибок, полученный при распознавании нейронной сетью 
эталона. Вектор Е — вектор решения прямой задачи линейного программирования, а 
Х - вектор решения обратной задачи линейного программирования. Для расчета 
взвешенного критерия используется взвешенная норма в пространстве ошибок. В 
общем случае вектора ошибок Е = (е/, ед, ..., ед и Х = (51, х2, ..., хь, где К — количество 
факторов, влияющих на ошибку распознавания образов многослойным персептроном, т.е. 
это не размерность пространства образов. Входной образ У». = (1, у2, ..., у»). Эталонный 
образ Оы, = (1, 42, ..., А»), где т — количество входных нейронов, равное количеству 
выходных нейронов в многослойном персептроне. Вектор Ё получен при распозна- 
вании многослойным персептроном входного образа У». за эталон был взят Оьых, а вектор 
Х получен, когда на вход сети подали Оьых и ожидали У». Теперь можно оценить близость 
распознаваемых образов к эталону по правилу (взвешенный критерий): образ ближе к 
эталону, чем больше со5(4). 


(© (© 


В случае когда образ совпадает с эталоном с05(4) = 1 (не учитывая вычисли- 
тельные ошибки алгоритма). 


Выводы 


Каждому образу, распознаваемому многослойным персептроном в многофакторном 
пространстве ошибок соответствует свое значение скалярного критерия со5(4). В данной 
работе построено отображение множества распознаваемых образов на множество 
действительных чисел из интервала /0,1], которое позволяет связать классификацию 
распознаваемых образов с поведением со5(4) в многофакторном пространстве ошибок. 
Задавая определенные интервалы для значений со5(4), мы можем группировать образы, 
распознавать, сравнивать и анализировать их. Впервые построено решающее правило для 
классификации образов в виде утверждения: каждому образу, распознаваемому 
многослойным персептроном в многофакторном пространстве ошибок, будет соответ- 


ствовать свое значение со5(4) и образ ближе к эталону, чем больше со5(4). 
с0$( Я, ‚= (Е.Х _ , 
[81 
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где Е — вектор ошибок в пространстве ошибок, полученный при распознавании ней- 
ронной сетью входного образа, Х — вектор ошибок, полученный при распознавании 
нейронной сетью эталона. Предложенный в статье алгоритм сжатия информации ос- 
нован на использовании скалярного критерия для распознавания образов нейронной 
сетью. На вход нейронной сети подается двоичный АЗСП код информации и 
рассчитывается скалярный критерий для его распознавания. 
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П.В. Четирбок 

Алгоритм стиснення 1нформацй з використанням скалярного критер!ю розшзнавання образв 

У данй робот! побудовано 1зоморфне в1дображення безл!ч! образ1в на безлич дйсних чисел з 
1нтервалу [0,1], яке дозволяе пов'язати класиф\кащю образ!в з повед!нкою скалярного критер!ю в 
простор! помилок. Задаючи певн! 1нтервали для значень скалярного критершю, можемо групувати 
образи, розшзнавати, пор1внювати 1 аналзувати 1х. У робот! побудований алгоритм стиснення 
1нформаци з використанням скалярного критер!ю. 


Р.И. СреутБоЕ 

Аоот@т оЁ гтабвоп Сотргеззоп ито Зса1ог СгНета о? Ппаре Весорш@оп 

№ Фе отуеп уогК Фе Ф@зр!аушс 15 Би пы ар|сап4$ оЁ тесоотихаЫе арреагапсез оп пи!арПед табепа] пипабег$ 
Кот ижфегуа! [0,1], уфисЬ аПоууз №ю Ник с1аззШсаноп оЁтесозтитае арреагапсез Ул ве сопаисЕ оЁ зса[аг стетой 
ш расе оЁ етгогз. Зейте ейпие пегуа5 Юг Фе уаез оЁ зса[аг сгцепоп сап этоир арреагапсез, гесоэтте, 
сотраге ап4 апауте вет. Ра \уогК а|еогтл о сопаргез1оп оРоппайоп ул Фе зе оЁса[аг сгиепоп 1$ Бай. 


Статья поступила в редакцию 10.07.2008. 
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